Knowledge Acquisition During Pre-training? Large Language Models Learn Better With Auxiliary Views
预训练中知识获取：辅助视图让 LLM 学得更好
🧭 LLM 预训练数据表示与知识获取
University of Pennsylvania
辅助视图（知识重构）在固定 token 预算下比重复更能提升 LLM 知识获取，且不依赖强 teacher 生成
📌 工作参考价值（4 点）
- 在电商/推荐场景构建训练数据时，不要只重复原始商品描述或用户评论，可引入多种辅助视图（如改写描述、属性问答、用户评价总结、知识图谱陈述）来覆盖同一知识的不同表述，提升模型对商品知识的记忆与推理。
- 固定 token 预算下，优先增加辅助视图而非同文档重复。例如在微调商品理解模型时，将重复样本的 budget 分配给同一商品的不同表述（不同风格、不同角度），能更高效利用 token，尤其对事实类属性（品牌、成分、适用人群）的 recall 有提升。
- 辅助视图的生成不依赖强 teacher 模型，所以业务中可以用低成本 LLM 或规则模板生成多样化视图，无需昂贵的 GPT-4 级别 teacher，也能获得知识学习增益。
- 预训练或领域继续训练时，数据多样性不足（同一商品反复出现相同描述）可能导致知识获取低效；应控制重复度，增加表述多样性。这验证了数据多样性在推荐领域大模型训练中的价值，可指导数据清洗和配比策略。